Integrating agent based information outsourcing techniques on data warehousing systems

In the last few years, information outsourcing has been a current activity in large companies. Information has become a regular trading commodity. It is a well-known fact that direct mailing companies acquire databases, or other kind of information sources, from other companies with the names and addresses of potential clients. Also, enterprise managers are frequently concerned with the current status and welfare of their clients and suppliers. Commonly, they appeal to specialized external information providers who may, under certain conditions, provide them with specific profiles about such potential commercial partners. In companies with effective means of information processing, it is very probable that such information needs may be directly satisfied from data stored and managed in the company's data warehouse. In this paper, we propose a protocol, based on economic principles, that enables the automatic negotiation of information transfer between the data warehouse systems of different companies. The protocol is designed to be used by a community of intelligent agents that is responsible for ensuring and supporting all the operational tasks related to information outsourcing among companies.(undefined

Concepção de Sistemas ETL Seguros e Confiáveis em Alloy

Over the last few years, several proposals have been presented for supporting conceptual and logical modelling of data warehousing populating processes - ETL processes. However, these processes usually have a high degree of specificity, which entails very complex data requirements and elaborate processing routines – often difficult to validate. In ETL process modelling, the use of the Alloy specification language introduces an innovative formalism to the traditional approaches, maintaining the flexibility for handling the specific behaviours of an ETL process. Additionally, Alloy specifications can be analysed and validated, offering greater confidence in its correctness, which is essential for the success of complex software products. In this paper we present and discuss how to specify and validate ETL processes - blocks of operations and their dependencies - using Alloy, inspired by advances in this area of research, which show the potential of using a formal language in the ETL process modelling domain.Ao longo dos últimos anos foram apresentadas diversas propostas para suporte à modelação conceptual e lógica de processos de povoamento de data warehouses - processos de ETL. Todavia, estes processos apresentam usualmente um grau de especificidade elevado, acarretando requisitos de dados bastante complexos e rotinas de transformação muito elaboradas, cuja correção é frequentemente de difícil validação. Na modelação de processos de ETL, a utilização da linguagem de especificação Alloy introduz um formalismo inovador perante as abordagens tradicionalmente utilizadas, mantendo a flexibilidade necessária para lidar com comportamentos específicos dos processos ETL. Adicionalmente, as especificações criadas podem ser analisadas e validadas, oferecendo maior confiança quanto à sua correção, uma característica imprescindível no sucesso de produtos de software complexos. Neste artigo, inspirados pelos avanços registados nesta área de trabalho, apresentamos e discutimos formas de especificar e validar processos de ETL - blocos de operações e as suas dependências - utilizando a linguagem Alloy.Este trabalho foi suportado pelo COMPETE: POCI-01-0145-FEDER-007043, by FCT – Fundação para a Ciência e Tecnologia within the Project Scope: UID/CEC/00319/2013

Avaliação de algoritmos para a selecção de vistas materializadas em ambientes de data warehousing

A competição no mundo empresarial obriga a uma monitorização mais apertada de todas as variáveis envolvidas nas actividades de negócio. Com o objectivo de suportar o processo de tomada de decisão em factos, e não apenas na intui-ção dos agentes de decisão, surgiram os sistemas de suporte à decisão. Estes sistemas são hoje uma ferramenta chave no processo de tomada de decisão, pois conciliam e integram toda a informação disponível numa única plataforma tec-nológica. Assim, todas as técnicas de optimização do desempenho desses siste-mas são bem-vindas. De entre as diversas técnicas disponíveis, este trabalho concentra-se na materialização de vistas como método de optimização do pro-cessamento de interrogações. A materialização de vistas consiste na antecipação do processamento e armazenamento dos tuplos resultantes do processamento da sua definição numa tabela. De facto, o tempo de reposta a uma interrogação é menor, se as operações intermédias como selecções, projecções, junções e a-gregações se encontrarem já armazenadas numa tabela. Desta forma, o tempo de resposta limita-se ao varrimento da vista materializada. Este artigo apresenta um estudo preliminar para o desenvolvimento de um sistema de gestão de vistas materializadas em ambientes de data warehousing. Neste trabalho comparam-se, basicamente, os comportamentos de dois algoritmos de selecção de vistas materializadas: o BPUS e o A*, ambos algoritmos de procura exaustiva (deter-minísticos)

Descoberta de padrões num sistema de certificação de empresas

Uma das tarefas mais vulgares em mineração de dados é fazer a descoberta de padrões escondidos num conjunto de dados, isto é, descobrir informação útil que ajude a tomar decisões numa dada área de trabalho. Neste artigo apresenta-se um estudo desenvolvido sobre a descoberta de padrões numa base de dados que descreve os certificados adquiridos pelas empresas portuguesas no período 2008-2010. A certificação é um processo voluntário que pode ser crucial para a sobrevivência das empresas. O conjunto de certificados que uma empresa deve adquirir pode variar com vários fatores, como a região onde a empresa se encontra localizada ou o seu sector de atividade. A aplicação de técnicas de mineração de dados neste domínio permite fazer uma previsão de quais os certificados a adquirir que melhor se adaptam às características da empresa e lhes possam trazer algumas vantagens em mercados de acesa concorrência.Uma das tarefas mais vulgares em mineração de dados é fazer a descoberta de padrões escondidos num conjunto de dados, isto é, descobrir informação útil que ajude a tomar decisões numa dada área de trabalho. Neste artigo apresenta-se um estudo desenvolvido sobre a descoberta de padrões numa base de dados que descreve os certificados adquiridos pelas empresas portuguesas no período 2008-2010. A certificação é um processo voluntário que pode ser crucial para a sobrevivência das empresas. O conjunto de certificados que uma empresa deve adquirir pode variar com vários fatores, como a região onde a empresa se encontra localizada ou o seu sector de atividade. A aplicação de técnicas de mineração de dados neste domínio permite fazer uma previsão de quais os certificados a adquirir que melhor se adaptam às características da empresa e lhes possam trazer algumas vantagens em mercados de acesa concorrência

An economic energy approach for queries on data centers

Energy consumption is an issue that involves all of us, both as individuals and as members of a society, and covers all our areas of activity. It is something so broad that its impact has important reflections on our social, cultural and financial structures. The domain of software, and in particular database systems, is not an exception. Although it seems to be a little bit strange to study the energy consumption of just one query, when we consider the execution of a a few thousand queries per second, quickly we see the importance of the querying consumption in the monthly account of any company that has a conventional data center. To demonstrate the energy consumption of queries in data centers, we idealized a small dashboard for monitoring and analyzing the sales of a company, and implemented all the queries needed for populating it and ensuring its operation. The queries were organized into two groups, oriented especially to two distinct database management systems: one relational (MySQL) and one non relational (Neo4J). The goal is to evaluate the energy consumption of different types of queries, and at the same time compare it in terms of relational and non-relational database approaches. This paper relates the process we implemented to set up the energy consumption application scenario, measure the energy consumption of each query, and present our first preliminary results

Discovering patterns in a certification system of companies

One of the most common tasks in data mining is the discovery of hidden patterns in a specific dataset in order to find relevant information to help making decisions in a given working area. This paper presents a study carried out over a specialized database containing information about a large number of certificates acquired by Portuguese companies, in the period 2008-2010. Certification is a voluntary process that can be crucial to the survival of a company in its business area. The set of certificates that a company must acquire may vary according to several factors, like the region where the company is located or its sector of activity. The application of data mining techniques in this area allows making predictions about which licenses a company may acquire that best fit its business characteristics and that bring some advantages in its business activities.info:eu-repo/semantics/publishedVersio

Situation analysis of product cannibalization in retail systems

Neste trabalho procuramos avaliar o desempenho de dois algoritmos de mineração de dados orientados especialmente para o estabelecimento de regras de associação positivas e negativas. Para isso utilizámos um conjunto de dados de um retalhista, relativos às vendas realizadas durante um dado período. Os resultados alcançados neste trabalho de análise e comparação revelou um grande potencial de aplicação deste tipo de soluções no sector do retalho, bem como evidenciou que a utilização do conhecimento adquirido com base num conjunto de regras de associação positivas e regras de associação negativas, apesar da sua grande diferença, quando conjugado, constitui um grande fator de diferenciação em termos de qualidade na personalização de clientes, apoiadas por relacionamentos entre produtos estabelecidas numa venda.In this work we evaluate the performance of two data mining algorithms geared especially for the establishment of positive and negative association rules. For this we used a fairly comprehensive set of data from a retailer about the sales of products of a given period. The results achieved in this analysis and comparison work revealed a great potential for this type of solutions in the retail sector, where the use of knowledge acquired based on a set of positive association rules and negative association rules, despite its big difference, when combined is a major differentiating factor in terms of quality for customer personalization based on product relationships.(undefined

Um Ambiente Computacional Distribuído para a Implementação de Sistemas Multiagente

É comum depararem-se-nos, numa organização, situações em que os processos de resolução de problemas estão naturalmente distribuídos por entidades com responsabilidades próprias, que se assumem como conscientes e deliberativas: os especialistas. Um indivíduo pode não ter a aptidão necessária para, só por si, resolver um problema ou lidar com os diferentes tipos de recursos envolvidos na sua resolução. Contudo, numa organização, estas entidades atacam eficientemente um problema através da partilha de tarefas ou de resultados, desenvolvendo novas formas de acção, planeando e alocando recursos ou, simplesmente, trocando informação entre si. Trata-se, em síntese, de pensar, planear e agir em equipa. Com as estruturas, estratégias e recursos apropriados, esses indivíduos podem actuar como equipas efectivas. Tais características afectarão o desempenho dos diversos indivíduos, conduzindo-os a melhores e mais efectivas abordagens na resolução de problemas, o que terá, naturalmente, um impacto positivo nos custos operacionais da organização. Para se estabelecerem e manterem canais de comunicação adequados dentro desta, é de importância primordial prevenir situações de estrangulamento, de contenção ou de bloqueio fatal. Este cenário é, com certeza, insuficiente para caracterizar adequadamente todos os aspectos e formas de comportamento existentes numa organização, no entanto, constituiu o principal estímulo para o desenvolvimento do sistema BEABLE. O sistema BEABLE é um ambiente computacional distribuído, dirigido para a implementação de sistemas cooperativos baseados em conhecimento. Com uma arquitectura genérica, baseada em quadros negros, está particularmente orientado para aplicações reais de Inteligência Artificial Distribuída em áreas que vão desde o diagnóstico à classificação e controlo. Os agentes são entidades autónomas, interactivas e automotivadas, que transmitem um sentido de realidade, de conhecimento e de intenção nas tarefas em que se aplicam. São membros de comunidades especializadas, com aptência e capacidade de agir coerente e cooperativamente, reagindo a estímulos de forma assíncrona e concorrente. Uma aplicação é construída em torno de um ou mais agentes. Estes podem reagir oportunisticamente, usando estratégias de resolução de acordo com o estado corrente do problema e com a perícia e conhecimento que possuem. Não se trata de um sistema centralizado. Os agentes têm controlo local, bem como dos processos de interacção que possam desenvolver com outros agentes. O desenho, de características modulares, que o sistema apresenta e os seus mecanismos funcionais permitem que novos agentes possam ser integrados no sistema sem que a sua estrutura global seja afectada. Complementarmente, os agentes estão providos dos meios necessários para poderem aceder ao conhecimento e usufruir da perícia de agentes externos à comunidade. Esta circunstância permite melhorar significativamente o desempenho do sistema e expandir os horizontes da comunidade em que os agentes se integram, em direcção a uma comunidade global de comunidades.Nowadays, it is very common to find a large range of situations in human organisations where problem solving activities are naturally distributed among individuals, which assume specific responsibilities in the organisation's structure and make use of the faculty of being conscious and deliberative: the organisation's experts. As an individual, he/she may have neither the expertise nor the capacity to solve a whole problem or even to deal with the resources involved. However, in an organisation with different experts, he/she may solve problems efficiently by sharing tasks or results, developing new forms of acting, planning, allocating resources, or even by simply exchanging information. In short, thinking, planning and acting as a cohesive "task force". With the appropriate structures, strategies and resources, individuals can act as teams. This will affect the individual's performance, leading to better and more effective approaches to problem solving, with a positive impact on the overall operational costs of the organisation. To establish and maintain adequate communication channels inside the organisation, it is of prime importance to prevent communication bottlenecks, contentions or deadlock situations. This scenario is certainly insufficient to characterise all the aspects and forms of behaviour of an organisation. However, it was the prime "stimulus" for the development of the BEABLE system. The BEABLE system is a distributed computational environment for the implementation of co-operative knowledge based systems. As a general-purpose blackboard-based architecture, it is particularly suited for real world Distributed Artificial Intelligence applications, in areas ranging from diagnosis to those of classification and control. Agents are autonomous, interactive and self-motivated entities that bring a sense of reality, awareness and purpose to the problem solving process. They are members of specialised communities acting as coherent and co-operative teams, reacting to stimuli, being asynchronous and concurrent. The system allows the execution of several applications simultaneously, sharing different machines connected to a network. A user's application is built around one or more agents. Agents can also act opportunelly, applying their own resolution strategies according to the actual state of the problem and to their own skills and knowledge. There is no central entity to co-ordinate the system's dynamics. Each agent controls its own behaviour and any interaction with other agents of the system. The system's modular design and functional mechanisms allow the integration of new agents without affecting the system's overall structure. The agents are also provided with the means to access knowledge and to benefit from the expertise of other agents of external communities. This will significantly improve the agents' skills, expanding the horizons of a community towards a global community of communities.Actuellement, il est fréquent de rencontrer dans les organisations humaines une large gamme de situations où les activités de résolution des problèmes sont naturellement distribuées entre les individus, entités qui assument un ensemble de responsabilités spécifiques dans la structure des organisations, en utilisant leur faculté de conscience et de délibération: les spécialistes. Un individu détermine peut ne pas avoir l'aptitude ou les capacités nécessaires pour, de lui-même, résoudre un problème complet, ou même être capable de gérer les différents recours que le problème peut englober. Cependant, dans une organisation, composée de différents spécialistes, il/elle peut résoudre efficacement un problème, à travers la division des taches ou des résultats, en développant de nouvelles formes d'action, en planifiant et en définissant l'emplacement des recours ou simplement en échangeant de l'information. Pour résumer: il s'agit de penser, planifier et agir comme une équipe de travail cohésive. Avec les structures, les stratégies et les recours appropriés, les individus d'une organisation peuvent travailler comme des équipes effectives. Ceci influencera la performance des divers individus, les conduisant à des approches plus performantes et plus concrètes dans la résolution des problèmes, et par conséquent, cela aura un impact positif sur les coûts opérationnels de l'organisation. Pour établir et maintenir des réseaux de communication adéquats, il est extrêmement important de prévenir d'éventuelles situations d'étranglement, de rétention et de "deadlock". Ce scénario est certainement insuffisant pour caractériser convenablement tous les aspects et tous les types de comportement existant dans une organisation. Toutefois, cela a constitué le principal motif du développement du système BEABLE. Le système BEABLE est un environnement informatique distribué pour l'implémentation de systèmes experts coopératifs. Avec une architecture générique, basée sur des "tableaux noirs", il est particulièrement orienté vers des applications réelles de l'Intelligence Artificielle Distribuée dans des domaines qui peuvent aller du diagnostic jusque à la classification et au contrôle. Les agents sont des entités autonomes, interactives et auto-motivées qui transmettent un sens de réalité, de connaissance et d'intention au processus de résolution des problèmes. Ce sont des membres de communautés spécialisées qui possèdent une aptitude et une capacité à agir avec cohérence et en coopération, comme une équipe, en réagissant aux stimuli d'une forme asynchronique et concurrente. Le système permet l'exécution d'applications variées, simultanément, à travers le partage de différentes machines liées par un système de réseaux d'ordinateurs. L'application d'un utilisateur est construite autour d'un ou de plusieurs agents. Les agents peuvent agir opportunément, en appliquant leurs stratégies de résolution, en accord avec l'état actuel du problème et en accord avec l'habilité et les connaissances qu'ils possèdent. Dans le système, il n'existe pas d'entité responsable de la coordination de sa dynamique globale. Chaque agent a la capacité de contrôler son propre comportement et tout autre processus d'interaction qu'il puisse développer avec d'autres agents. L'architecture, à caractéristiques modulaires, présentée par le système, tout comme ses mécanismes fonctionnels, permettent que de nouveaux agents puissent être intégrés dans le système sans que la structure globale en soit affectée. En outre, les agents sont pourvus des moyens nécessaires pour pouvoir accéder à la connaissance et pour bénéficier de l'habilité d'autres agents, externes à leur communauté. Cette circonstance permet d'améliorer significativement l'habilité des agents locaux et d'élargir les horizons de la communauté dans laquelle ils sont intégrés, vers une communauté globale de communautés.Universidade do Minho

Colored Petri nets in the simulation of ETL standard tasks: the surrogate key pipelining case

ETL (Extract-Transform-Load) systems are formed by processes responsible for the extraction of data from several sources, cleaning and transforming it in accordance with some prerequisites of a data warehouse, and finally loading it in its multidimensional structures. ETL processes are the most complex tasks involved within the development of a Data Warehousing System, being crucial to model them previously so that, during the implementation stage, the correct set of requirements is considered. Coloured Petri Nets are a graphical modelling language used in the design, specification, simulation and validation of large systems, characterized as being strongly concurrent. The objective of this manuscript is to discuss the application of Coloured Petri Nets to the specification and validation of ETL systems. To demonstrate their viability for such tasks we have selected one of the most relevant and used case in ETL systems implementation: a surrogate key pipelining

Assisting data warehousing populating processes design through modelling using Coloured Petri Nets

Data warehousing systems populating processes are responsible for loading their data repositories – the data warehouses – with information they extract from operational sources. The tasks that integrate these processes are the most complex ones that we can find in a data warehousing system. For a flawless implementation, modelling these processes previously is important so that a correct set of requirements is considered. This paper approaches conceptual modelling and simulation of the populating processes of a DWS, by applying Coloured Petri Nets in the design of independent populating tasks. We adopt a change data capture task as the case study in order to demonstrate the effective application of coloured petri nets for modelling and simulating data warehousing populating processes.(undefined